package com.mycrawler;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;


/***
 * 实现页面分析的业务逻辑
 */
public class MyPageProcessor implements PageProcessor {

    /***
     * 页面分析
     * 下载的结果封装成page对象
     * 可以从page对象中获得下载的结果
     * @param page
     */
    public void process(Page page) {
        Html html = page.getHtml();
        String htmlstr = html.toString();
        System.out.println(htmlstr);
        page.putField("html",html);
//        ResultItems resultItems = page.getResultItems();
//        resultItems.put("html",html);
    }


    /***
     * 返回一个Site对象
     * Site就是站点的配置
     * 返回默认配置使用Site.me()创建一个
     * @return
     */
    public Site getSite() {
        return Site.me();
    }
}
